Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
Waypoint-OPD：基于门控在线策略蒸馏的 RL 策略偏移迁移
🧭 RL 策略偏移蒸馏 · 门控迁移
Alibaba Cloud Computing
用中间检查点方向一致性门控教师 RL 前后策略偏移，提升数学与代码推理蒸馏效果
📌 工作参考价值（4 点）
- 在 RL 蒸馏中保留中间 checkpoint 成本低：只需额外一次 frozen-teacher 打分，即可按 early/late 偏好方向一致性过滤噪声，适合线上小模型蒸馏。
- 门控思想可迁移到排序/Agent 策略蒸馏：teacher 策略在训练中迭代不稳定时，不要直接用最终参数差，而是用中间检查点检测方向冲突，抑制相互抵消的 policy shift。
- 对用 RL 微调 LLM 做 query 生成、生成式推荐或 Agent 决策的业务，可以借鉴 on-policy 蒸馏方式：让学生自生成轨迹，teacher 打分并计算 early/late log prob 差，只把方向一致的策略偏移作为监督，避免把探索期噪声传给学生。
- 论文在数学与代码推理验证，迁移到电商场景需适配奖励和动作空间，但“方向一致性 gating”是通用 trick。